Il est nécessaire d'examiner la façon dont l'intelligence artificielle produit ses résultats. Son fonctionnement est-il si objectif et impartial qu'il le paraît à première vue ?
En effet, l'intelligence artificielle fonctionne sur la base du traitement d'un grand nombre de données. Le traitement relève du programme. Les données sont extraites du web, c'est ce qu'on appelle le Big Data.
Le résultat, loin de proposer une solution idéale, relaie les préjugés, reproduit les injustices passées et présentes, manifeste les discriminations en vigueur dans la société, favorise les positions déjà dominantes.
C'est donc l'espoir d'un progrès de la société vers une société plus juste qui se trouve aboli, si l'on laisse à l'intelligence artificielle la tâche de décider ce qui est juste et ce qui est bon pour nous.
De plus, non seulement le résultat est encore dépendant de l'activité humaine, mais il peut être doublement instrumentalisé par l'intervention du concepteur d'une part, d'utilisateurs du web d'autre part. Dans ce cas, l'intelligence artificielle court le risque de devenir monstrueuse, comme l'illustre la vidéo ci-dessous.
Si l'intelligence artificielle peut nous apporter une aide précieuse dans l'accomplissement de nos tâches, est-il pertinent de lui déléguer le pouvoir de choisir ?